Trust the Direction, Search the Step: Zero-and-First-Order Methods for LLM Fine-Tuning
信任方向，搜索步长：LLM微调的零阶与一阶方法
🧭 LLM微调优化 · 零阶一阶混合步长选择
University of Central Florida · Mohammed VI Polytechnic University
提出ZFO框架，用一阶优化器定方向，沿一维子空间做零阶评估选步长，成本低于线搜索
📌 工作参考价值（4 点）
- 在微调用于排序、召回或Agent决策的LLM时，可尝试ZFO自适应步长替代固定学习率或余弦退火，减少手动调参，训练后期或小数据集上可能提升稳定性。
- ZFO仅额外增加两次前向传播（无额外反向），成本极低，可作为插件直接嵌入现有AdamW等训练流程，无需重写优化器。
- 方法解耦方向与步长：保持一阶方向不变，仅动态调整沿该方向的移动距离，能应对损失地形变化，降低训练崩溃风险。
- 实现时注意局部模型选择：论文表明不同目标偏好不同局部模型（如二次/三次），可对验证损失做快速搜索选择，无需复杂超参。